Production-Grid: Task-Farming in D-Grid

Die D-Grid Initiative stellt Bundesweit derzeit >30.000 Rechencores insgesamt 36 Community-Projekten zur Verfügung. Insgesamt wurden bisher in 3 „Calls“ und mehreren Infrastruktursonderinvestitionen ca. 134 Millionen Euro investiert. Auf den Resourcen laufen mehrere sogenannte Middlewares. Die Auslastung der Ressourcen die mithilfe der Middleware Globus benutzt werden (~70% der total installierten Leistung) beträgt praktisch mittlerweile 100%. Im wesentlichen nutzen zwei Usecases diese Resourcen zu ca. 98%: Im astrophysikalischen Bereich sind dies Gravitationswellenanalysen mittels der einstein@home-Jobs vom Max-Planck-Institut für Gravitationsphysik Albert-Einstein-Institut (AEI) und sowie Genomanalysen der Biophysikalischen Genomik, BioQuant/DKFZ. Beide nehmen derzeit mehr als 150.000 CPU-Stunden auf den Globus-Ressourcen im D-Grid auf. Vom wissenschaftlichen Standpunkt sind diese Rechnungen und Analysen von großer Bedeutung wie sich an der ansteigenden Zahl an Publikationen zeigt. Hinter den zwei hierbei verwendeten Nutzerkennungen verbergen sich dabei mehrere Nutzer die durch A. Beck-Ratzka und T. A. Knoch in Kooperationsprojekten gebündelt sind, die entweder einzelne Applikationen und/oder ganze Pipelinesysteme benutzen. Dazu gehören auch Nutzer die u.a. in nationalen, europäischen bzw. internationalen Konsortien für den Informatikpart zuständig sind. Im astrophysikalischen Fall handelt es sich dabei um 10 Nutzer/Projekte, im biomedizinischen Fall sind dies international mittlerweile ca. 200 Nutzer/Projekte (180 hierbei durch die Nutzung einer sog. Assoziation Pipeline, die von äußerst wichtiger diagnostischer Relevanz ist). Die Stärkung des Standorts Deutschland durch die erfolgreiche Nutzung im Produktionsbetrieb hat einerseits die Machbarkeit einer funktionierenden Grid-Infrastruktur für die Globus Ressourcen-Betreiber gezeigt und andererseits durch die Schaffung wissenschaftlich hoch-relevanter Ergebnisse zu einer damit verbundenen forschungspolitischen Stärkung geführt. Beides kann nicht hoch genug eingeschätzt werden, da beide Usecases vor allem auch im internationalen Vergleich eine herausragende Stellung einehmen – faktisch gehören sie mittlerweile zu den größten Nutzern von Rechenzeit weltweit. Der große Erfolg der zwei Usecases Gravitationswellenanalyse und Genomanalyse hat die Ressourcen bezüglich der Globus basierten Infrastruktur zu nahezu 100% ausgeschöpft Er basiert auf unabhängig voneinander entwickelten Komponenten, welche die Middleware in eine produktive Umgebung integrieren, und damit ein Produktionsgrid erst ermöglichen. Dies ist einzigartig im D-Grid-Umfeld. Die Personalkapatzität von A. Beck-Ratzka und T. A. Knoch sind aufgrund der Unterstützungsanforderungen von weiteren/neuen Nutzern zu 100% ausgereizt. Folglich stoßen wir in Bezug auf i) Rechenzeit für unsere eigenen Projekte sowie die neuer Nutzer, ii) die Unterstützung und Anwerbung neuer Nutzer, sowie iii) entsprechenden Unterstützung beim Management in Hinblick auf Daten Sicherheits/Vertraulichkeit, SLAs und Coaching, an die Grenze unserer bisher existierenden Möglichkeiten. Die entsprechende Projektanforderungen bezüglich Rechenleistung sind klar durch die entsprechenden Projekterfolge gegeben, d.h. dass über die Laufzeit der D-Grid Infrastruktur bis 2014 massive Anforderungen über den bisher für uns zugänglichen Rahmen hinaus bestehen. Anfragen von neuen Nutzer gibt es von 10 weiteren im astrophysikalischen (Berliner Raum) und 50-60 weiteren im biomedizinischen Bereich (Raum Heidelberg), die uns als verläßliche bzw. erfahrene Garanten für erfolgreiche Hoch-Durchsatz Gridnutzung ansehen, aber entsprechende Unterstützung brauchen. Zusätzlich gibt es auch Anfragen von mehreren nationalen und internationalen Verbünden, die genau solche Komponenten wie die unsrigen sofort benutzen würden. Darüberhinaus besteht in diesem Zusammenhang der Bedarf an weiteren Lösungen im Datensicherheits- und Vertraulichkeits-Bereich, die durch diese Bereiche konkret angefordert werden, was mit entsprechendem Coaching und Management einhergehen muss und immer wieder von uns eingefordert wird. Wir sind fest davon überzeugt, dass mit dem im folgenden beschriebenen Vorschlag nicht nur diese Flaschenhälse beseitigt werden können, sondern auch die Nachhaltigeit und damit der Erfolg des gesamten D-Grid Projektes massiv gestärkt werden kann! Ein weiterer Aspekt der produktiven Usecases ist, dass erst mit diesen die Grid-Ressourcen richtig für den Produktionsbetrieb getestet werden können. Die Problematik im DGUS-Ticket 853 beispielsweise ist ein Problem, dass erst durch produktive Usecases aufgedeckt wird Die Globus basierten Grid-Ressourcen im D-Grid sind durch die beiden produktiven Usecases Gravitationswellenanalyse und Genomanalyse stabiler geworden. Durch die in im Rahmen dieses Projektes geplante Erweiterung der Usecases auf gLite- und Unicore-Ressourcen würden auch die Betreiber dieser Ressourcen enorm profitieren, weil es damit auf diesen Ressourcen zu einem Produktionsbetrieb kommen würde

AstroGrid-D: Grid Technology for Astronomical Science

We present status and results of AstroGrid-D, a joint effort of astrophysicists and computer scientists to employ grid technology for scientific applications. AstroGrid-D provides access to a network of distributed machines with a set of commands as well as software interfaces. It allows simple use of computer and storage facilities and to schedule or monitor compute tasks and data management. It is based on the Globus Toolkit middleware (GT4). Chapter 1 describes the context which led to the demand for advanced software solutions in Astrophysics, and we state the goals of the project. We then present characteristic astrophysical applications that have been implemented on AstroGrid-D in chapter 2. We describe simulations of different complexity, compute-intensive calculations running on multiple sites, and advanced applications for specific scientific purposes, such as a connection to robotic telescopes. We can show from these examples how grid execution improves e.g. the scientific workflow. Chapter 3 explains the software tools and services that we adapted or newly developed. Section 3.1 is focused on the administrative aspects of the infrastructure, to manage users and monitor activity. Section 3.2 characterises the central components of our architecture: The AstroGrid-D information service to collect and store metadata, a file management system, the data management system, and a job manager for automatic submission of compute tasks. We summarise the successfully established infrastructure in chapter 4, concluding with our future plans to establish AstroGrid-D as a platform of modern e-Astronomy.Comment: 14 pages, 12 figures Subjects: data analysis, image processing, robotic telescopes, simulations, grid. Accepted for publication in New Astronom

Disks and Outflows in CO Rovibrational Emission from Embedded, Low-Mass Young Stellar Objects

Young circumstellar disks that are still embedded in dense molecular envelopes may differ from their older counterparts, but are historically difficult to study because emission from a disk can be confused with envelope or outflow emission. CO fundamental emission is a potentially powerful probe of the disk/wind structure within a few AU of young protostars. In this paper, we present high spectral (R=90,000) and spatial (0.3") resolution VLT/CRIRES M-band spectra of 18 low-mass young stellar objects (YSOs) with dense envelopes in nearby star-froming regions to explore the utility of CO fundamental 4.6 micron emission as a probe of very young disks. CO fundamental emission is detected from 14 of the YSOs in our sample. The emission line profiles show a range of strengths and shapes, but can generally be classified into a broad, warm component and a narrow, cool component. The broad CO emission is detected more frequently from YSOs with bolometric luminosities of <15 Lsun than those with >15 Lsun, and as with CO emission from CTTSs is attributed to the warm (~1000 K) inner AU of the disk. The CO emission from objects with high bolometric luminosity is produced in cooler (~320 K), narrow lines in 12CO and in rarer isotopologues. From some objects, the narrow lines are blueshifted by up to ~10 km/s, indicating a slow wind origin. For other sources the lines are located at the systemic velocity of the star and likely arise in the disk. For a few YSOs, spatially-extended CO and H2 S(9) emission is detected up to 2" from the central source and is attributed to interactions between the wind and surrounding molecular material. Warm CO absorption is detected in the wind of six objects with velocities up to 100 km/s, often in discrete velocity components. That the wind is partially molecular where it is launched favors ejection in a disk wind rather than a coronal or chromospheric wind.Comment: 26 pages, accepted by A&

A Production-Grid: Answers to WissGrid

Die D-Grid Initiative stellt Bundesweit derzeit >30.000 Rechencores insgesamt 36 Community-Projekten zur Verfügung. Insgesamt wurden bisher in 3 „Calls“ und mehreren Infrastruktursonderinvestitionen ca. 134 Millionen Euro investiert. Auf den Resourcen laufen mehrere sogenannte Middlewares. Die Auslastung der Ressourcen die mithilfe der Middleware Globus benutzt werden (~70% der total installierten Leistung) beträgt praktisch mittlerweile 100%. Im wesentlichen nutzen zwei Usecases diese Resourcen zu ca. 98%: Im astrophysikalischen Bereich sind dies Gravitationswellenanalysen mittels der einstein@home-Jobs vom Max-Planck-Institut für Gravitationsphysik Albert-Einstein-Institut (AEI) und sowie Genomanalysen der Biophysikalischen Genomik, BioQuant/DKFZ. Beide nehmen derzeit mehr als 150.000 CPU-Stunden auf den Globus-Ressourcen im D-Grid auf. Vom wissenschaftlichen Standpunkt sind diese Rechnungen und Analysen von großer Bedeutung wie sich an der ansteigenden Zahl an Publikationen zeigt. Hinter den zwei hierbei verwendeten Nutzerkennungen verbergen sich dabei mehrere Nutzer die durch A. Beck-Ratzka und T. A. Knoch in Kooperationsprojekten gebündelt sind, die entweder einzelne Applikationen und/oder ganze Pipelinesysteme benutzen. Dazu gehören auch Nutzer die u.a. in nationalen, europäischen bzw. internationalen Konsortien für den Informatikpart zuständig sind. Im astrophysikalischen Fall handelt es sich dabei um 10 Nutzer/Projekte, im biomedizinischen Fall sind dies international mittlerweile ca. 200 Nutzer/Projekte (180 hierbei durch die Nutzung einer sog. Assoziation Pipeline, die von äußerst wichtiger diagnostischer Relevanz ist). Die Stärkung des Standorts Deutschland durch die erfolgreiche Nutzung im Produktionsbetrieb hat einerseits die Machbarkeit einer funktionierenden Grid-Infrastruktur für die Globus Ressourcen-Betreiber gezeigt und andererseits durch die Schaffung wissenschaftlich hoch-relevanter Ergebnisse zu einer damit verbundenen forschungspolitischen Stärkung geführt. Beides kann nicht hoch genug eingeschätzt werden, da beide Usecases vor allem auch im internationalen Vergleich eine herausragende Stellung einehmen – faktisch gehören sie mittlerweile zu den größten Nutzern von Rechenzeit weltweit. Der große Erfolg der zwei Usecases Gravitationswellenanalyse und Genomanalyse hat die Ressourcen bezüglich der Globus basierten Infrastruktur zu nahezu 100% ausgeschöpft Er basiert auf unabhängig voneinander entwickelten Komponenten, welche die Middleware in eine produktive Umgebung integrieren, und damit ein Produktionsgrid erst ermöglichen. Dies ist einzigartig im D-Grid-Umfeld. Die Personalkapatzität von A. Beck-Ratzka und T. A. Knoch sind aufgrund der Unterstützungsanforderungen von weiteren/neuen Nutzern zu 100% ausgereizt. Folglich stoßen wir in Bezug auf i) Rechenzeit für unsere eigenen Projekte sowie die neuer Nutzer, ii) die Unterstützung und Anwerbung neuer Nutzer, sowie iii) entsprechenden Unterstützung beim Management in Hinblick auf Daten Sicherheits/Vertraulichkeit, SLAs und Coaching, an die Grenze unserer bisher existierenden Möglichkeiten. Die entsprechende Projektanforderungen bezüglich Rechenleistung sind klar durch die entsprechenden Projekterfolge gegeben, d.h. dass über die Laufzeit der D-Grid Infrastruktur bis 2014 massive Anforderungen über den bisher für uns zugänglichen Rahmen hinaus bestehen. Anfragen von neuen Nutzer gibt es von 10 weiteren im astrophysikalischen (Berliner Raum) und 50-60 weiteren im biomedizinischen Bereich (Raum Heidelberg), die uns als verläßliche bzw. erfahrene Garanten für erfolgreiche Hoch-Durchsatz Gridnutzung ansehen, aber entsprechende Unterstützung brauchen. Zusätzlich gibt es auch Anfragen von mehreren nationalen und internationalen Verbünden, die genau solche Komponenten wie die unsrigen sofort benutzen würden. Darüberhinaus besteht in diesem Zusammenhang der Bedarf an weiteren Lösungen im Datensicherheits- und Vertraulichkeits-Bereich, die durch diese Bereiche konkret angefordert werden, was mit entsprechendem Coaching und Management einhergehen muss und immer wieder von uns eingefordert wird. Wir sind fest davon überzeugt, dass mit dem im folgenden beschriebenen Vorschlag nicht nur diese Flaschenhälse beseitigt werden können, sondern auch die Nachhaltigeit und damit der Erfolg des gesamten D-Grid Projektes massiv gestärkt werden kann! Ein weiterer Aspekt der produktiven Usecases ist, dass erst mit diesen die Grid-Ressourcen richtig für den Produktionsbetrieb getestet werden können. Die Problematik im DGUS-Ticket 853 beispielsweise ist ein Problem, dass erst durch produktive Usecases aufgedeckt wird Die Globus basierten Grid-Ressourcen im D-Grid sind durch die beiden produktiven Usecases Gravitationswellenanalyse und Genomanalyse stabiler geworden. Durch die in im Rahmen dieses Projektes geplante Erweiterung der Usecases auf gLite- und Unicore-Ressourcen würden auch die Betreiber dieser Ressourcen enorm profitieren, weil es damit auf diesen Ressourcen zu einem Produktionsbetrieb kommen würde

A Production-Grid for Genome and LISA Research

Die D-Grid Initiative stellt Bundesweit derzeit >30.000 Rechencores insgesamt 36 Community-Projekten zur Verfügung. Insgesamt wurden bisher in 3 „Calls“ und mehreren Infrastruktursonderinvestitionen ca. 134 Millionen Euro investiert. Auf den Resourcen laufen mehrere sogenannte Middlewares. Die Auslastung der Ressourcen die mithilfe der Middleware Globus benutzt werden (~70% der total installierten Leistung) beträgt praktisch mittlerweile 100%. Im wesentlichen nutzen zwei Usecases diese Resourcen zu ca. 98%: Im astrophysikalischen Bereich sind dies Gravitationswellenanalysen mittels der einstein@home-Jobs vom Max-Planck-Institut für Gravitationsphysik Albert-Einstein-Institut (AEI) und sowie Genomanalysen der Biophysikalischen Genomik, BioQuant/DKFZ. Beide nehmen derzeit mehr als 150.000 CPU-Stunden auf den Globus-Ressourcen im D-Grid auf. Vom wissenschaftlichen Standpunkt sind diese Rechnungen und Analysen von großer Bedeutung wie sich an der ansteigenden Zahl an Publikationen zeigt. Hinter den zwei hierbei verwendeten Nutzerkennungen verbergen sich dabei mehrere Nutzer die durch A. Beck-Ratzka und T. A. Knoch in Kooperationsprojekten gebündelt sind, die entweder einzelne Applikationen und/oder ganze Pipelinesysteme benutzen. Dazu gehören auch Nutzer die u.a. in nationalen, europäischen bzw. internationalen Konsortien für den Informatikpart zuständig sind. Im astrophysikalischen Fall handelt es sich dabei um 10 Nutzer/Projekte, im biomedizinischen Fall sind dies international mittlerweile ca. 200 Nutzer/Projekte (180 hierbei durch die Nutzung einer sog. Assoziation Pipeline, die von äußerst wichtiger diagnostischer Relevanz ist). Die Stärkung des Standorts Deutschland durch die erfolgreiche Nutzung im Produktionsbetrieb hat einerseits die Machbarkeit einer funktionierenden Grid-Infrastruktur für die Globus Ressourcen-Betreiber gezeigt und andererseits durch die Schaffung wissenschaftlich hoch-relevanter Ergebnisse zu einer damit verbundenen forschungspolitischen Stärkung geführt. Beides kann nicht hoch genug eingeschätzt werden, da beide Usecases vor allem auch im internationalen Vergleich eine herausragende Stellung einehmen – faktisch gehören sie mittlerweile zu den größten Nutzern von Rechenzeit weltweit. Der große Erfolg der zwei Usecases Gravitationswellenanalyse und Genomanalyse hat die Ressourcen bezüglich der Globus basierten Infrastruktur zu nahezu 100% ausgeschöpft Er basiert auf unabhängig voneinander entwickelten Komponenten, welche die Middleware in eine produktive Umgebung integrieren, und damit ein Produktionsgrid erst ermöglichen. Dies ist einzigartig im D-Grid-Umfeld. Die Personalkapatzität von A. Beck-Ratzka und T. A. Knoch sind aufgrund der Unterstützungsanforderungen von weiteren/neuen Nutzern zu 100% ausgereizt. Folglich stoßen wir in Bezug auf i) Rechenzeit für unsere eigenen Projekte sowie die neuer Nutzer, ii) die Unterstützung und Anwerbung neuer Nutzer, sowie iii) entsprechenden Unterstützung beim Management in Hinblick auf Daten Sicherheits/Vertraulichkeit, SLAs und Coaching, an die Grenze unserer bisher existierenden Möglichkeiten. Die entsprechende Projektanforderungen bezüglich Rechenleistung sind klar durch die entsprechenden Projekterfolge gegeben, d.h. dass über die Laufzeit der D-Grid Infrastruktur bis 2014 massive Anforderungen über den bisher für uns zugänglichen Rahmen hinaus bestehen. Anfragen von neuen Nutzer gibt es von 10 weiteren im astrophysikalischen (Berliner Raum) und 50-60 weiteren im biomedizinischen Bereich (Raum Heidelberg), die uns als verläßliche bzw. erfahrene Garanten für erfolgreiche Hoch-Durchsatz Gridnutzung ansehen, aber entsprechende Unterstützung brauchen. Zusätzlich gibt es auch Anfragen von mehreren nationalen und internationalen Verbünden, die genau solche Komponenten wie die unsrigen sofort benutzen würden. Darüberhinaus besteht in diesem Zusammenhang der Bedarf an weiteren Lösungen im Datensicherheits- und Vertraulichkeits-Bereich, die durch diese Bereiche konkret angefordert werden, was mit entsprechendem Coaching und Management einhergehen muss und immer wieder von uns eingefordert wird. Wir sind fest davon überzeugt, dass mit dem im folgenden beschriebenen Vorschlag nicht nur diese Flaschenhälse beseitigt werden können, sondern auch die Nachhaltigeit und damit der Erfolg des gesamten D-Grid Projektes massiv gestärkt werden kann! Ein weiterer Aspekt der produktiven Usecases ist, dass erst mit diesen die Grid-Ressourcen richtig für den Produktionsbetrieb getestet werden können. Die Problematik im DGUS-Ticket 853 beispielsweise ist ein Problem, dass erst durch produktive Usecases aufgedeckt wird Die Globus basierten Grid-Ressourcen im D-Grid sind durch die beiden produktiven Usecases Gravitationswellenanalyse und Genomanalyse stabiler geworden. Durch die in im Rahmen dieses Projektes geplante Erweiterung der Usecases auf gLite- und Unicore-Ressourcen würden auch die Betreiber dieser Ressourcen enorm profitieren, weil es damit auf diesen Ressourcen zu einem Produktionsbetrieb kommen würde

A Virtual Research Infrastructure for Genome and Lisa Research in Europe.

In VWCISC we propose a unique working and collaboration environment for international scientific communities. Science is increasingly collaborative at an international level, which enables projects to build teams of specialists best suited to the goals of the research effort, but which also puts heavy burdens on the scientists to communicate with one another. Email and international travel are primary collaboration tools, but increasingly specialist software is being developed to widen the collaboration channel. A number of software collaboration tools have been developed during the last 10 years, within the Grid and Cloud paradigms, that offer scientists easier and more functional ways to collaborate, and in Europe there has been very substantial funding for these efforts. But most scientific communities outside the field of computer science have not taken up these tools; they still rely on travel and email almost exclusively. A big reason is that there is no simple way to access the many different collaboration tools or to integrate them into the work of a project. Individually very useful, the tools still have high support overheads if they are to be employed in international projects. A simple example is the use of Grid-based tools: there is no universal Grid infrastructure software, and even within Europe tools will have to run on Globus in some nations, on gLite in others, and so on. The aim of our proposal, therefore, will be to offer EU scientific projects a general environment for international collaboration that solves the most difficult technical issues and leads to a system that looks identical to users in different countries, that can be installed on their local Grid protocols, that requires only a small amount of local support, that offers within this consistent environment a number of basic collaboration tools that many different projects will find useful, and that additionally offers a simple way of incorporating new tools specific to different projects. The vehicle for this environment will be a web Portal. Such an environment can be made universally accessible and will have a familiar interface. Collaborations that wish to use it will find that their members have a short learning curve and can discover resources intuitively. We will develop a pilot for this Portal that will serve two very different European scientific communities: the SysBio/Genome community and the LISA gravitational-wave research community. By showing how useful the Portal can be for these two projects we will demonstrate that it is a tool that should be useful for many others. In its final release, the Portal will offer an environment for collaboration that features easy infrastructure integration and infrastructure use. It should be also usable for other disciplines later on. The infrastructure will consist of data, software, and digital library repositories, and of compute resources connected into Grids. All the components of the infrastructure should be easily connectable by portlets within the portal. Our solution must allow users to connect new infrastructures easily. So it will be a framework, which contains an administration tool that permits connections to new Grids, digital libraries, software and data repositories, etc... However, the main collaboration tools as • access to digital Libraries, • access to a conference room, with the ability for video conferencing and a virtual white board, • access to an information exchange desk. Here we are not only thinking of different scientific discussion forums, • access to a “Groupware”. Which connects at least personal calendars and meeting scheduler, should be available as templates, where users themselves can supply necessary new configuration data (e.g. the connection data for video conferencing). We have selected the two research fields of the LISA and Gravitational Wave Research on the one hand, and System Biology and Genom research on the other, because both are real international communities, and importantly because they are currently the most successful grid users within Europe. Concerning the access to remote data, compute resources and repositories, these communities have different needs, but they are interested in a solution which can be used in production mode. Because we already use the Grid in production mode, we are aware of the problems of Grid computing, and we have solved them successfully. From our experience we know what is required, in order to have an easy and successful access to the Grid

UNICORE 6 – Recent and Future Advancements

In the last three years activities in Grid computing have changed; in particular in Europe the focus moved from pure research-oriented work on concepts, architectures, interfaces, and protocols towards activities driven by the usage of Grid technologies in day-to-day operation of e-infrastructure and in applicationdriven use cases. This change is also reected in the UNICORE activities [1]. The basic components and services have been established, and now the focus is increasingly on enhancement with higher level services, integration of upcoming standards, deployment in e-infrastructures, setup of interoperability use cases and integration of applications. The development of UNICORE started back more than 10 years ago, when in 1996 users, supercomputer centres and vendors were discussing "what prevents the efficient use of distributed supercomputers?". The result of this discussion was a consensus which still guides UNICORE today: seamless, secure and intuitive access to distributed resources. Since the end of 2002 continuous development of UNICORE took place in several EU-funded projects, with the subsequent broadening of the UNICORE community to participants from across Europe. In 2004 the UNICORE software became open source and since then UNICORE is developed within the open source developer community. Publishing UNICORE as open source under BSD license has promoted a major uptake in the community with contributions from multiple organisations. Today the developer community includes developers from Germany, Poland, Italy, UK, Russia and other countries. The structure of the paper is as follows. In Section 2 the architecture of UNICORE 6 as well as implemented standards are described, while Section 3 focusses on its clients. Section 4 covers recent developments and advancements of UNICORE 6, while in section 5 an outlook on future planned developments is given. The paper closes with a conclusion